How Depth Growth and Looping Shape In-Context Learning in Language Models
深度增长与循环如何塑造语言模型中的上下文学习
🧭 深度增长/循环模型的 ICL 偏置
Technical University of Munich · Helmholtz AI, Munich · Munich Center for Machine Learning (MCML) · Google, Paradigms of Intelligence Team
证明深度增长与循环模型共享更强的上下文学习归纳偏置，并揭示归纳头传播机制
📌 工作参考价值（4 点）
- 若用 LLM 做 few-shot 推荐/排序（例如通过示例商品-用户偏好映射），可优先评估 depth-grown 或 looped 基座：它们更依赖上下文信息，可能比 dense 模型更少靠权重记忆固定关联，适合动态偏好学习。
- 预训练推荐/Agent 模型时可借鉴渐进深度增长：先训浅层再复制层继续训练，可能在更少步数内获得 ICL 能力并降低训练成本；同时可用“早期 induction heads 传播”作为训练监控信号。
- 用 induction head 排名做模型诊断与剪枝：识别对 few-shot 关键的头，保留或蒸馏到轻量模型，或用于验证提示工程中的示例格式是否有效。
- 资源受限的多轮 Agent 场景可考虑 looped/共享层结构，减少参数与 KV cache 压力，同时强化对上下文规则的依赖，适合反复调用工具/策略的推理。